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(54) Einrichtung zur Umfelderkennung, insbesondere zur Verkehrszeichenerkennung 



(57) Es wird eine Umfeld-, insbesondere Verkehrs- 
zeichenerkennungseinrichtung mit mindestens zwei 
Kameras mit uberlappenden Gesichtsfeldern vorge- 



schlagen zur Detektion von Hindernissen bzw. zur 
Detektion und Klassifikation von Verkehrszeichen. 
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Beschreibung 

Stand der Technik 

[0001] Die Erfindung geht aus von einer Umfelder- 
kennungseinrichtung nach der Gattung des unabhangi- 
gen Anspruchs. Aus der DE 40 23 952 C2 ist schon e»ne 
Verkehrszeichenerkennungseinrichtung bekannt. bet 
der ein Bildverarbeitungsverfahren zur Verkehrszei- 
chenerkennung eingesetzt wird. 

Vorteile der Erlindung 

[0002] Die erfindungsgemaBe Umfelderkennungs- 
einrichtung mit den kennzeichnenden Merkmalen des 
unabhangigen Anspruchs hat demgegenuber den Vor- 
teil. daB sicher, mit einfachen Mitteln und/oder automa- 
tisiert im StraGenverkehr aufgestellte Verkehrszeichen 
Oder Verkehrshindernisse vom Kraftfahrzeug aus 
erkannt werden konnen. 

[0003] Wertere Vorteile ergeben sich durch die in 
den Unteranspruchen genannten Merkmale. 
[0004] Kameras mit uberlappendem Biidbereich 
ermoglichen die dreidimensionale sichere und robuste 
Berechnung geometrischer und bildlicher GroBen im 
Zusammenhang mit Verkehrszeichen, wie beispieis- 
weise Standort und Art des Verkehrszeichens aus 
Momentanaufnahmen der Kameras, d.h. sie ermogh- 
chen eine instantane und genaue Erkennung und 
Berechnung aus einer Momentaufnahme, ohne den 
zeitlichen Verlauf von Bilddaten innerhalb eines 
bestimmten Zeitfensters (Sicherheitsrisiko!) abwarten 
zu mussen. Durch die mogliche dreidimensionale Ver- 
kehrszeichenerkennung wird es daruberhinaus mog- 
lich, weitere dreidimensionale GroBen wie zum Beispiel 
Form, Orientierung und reale GroBe, seitlicher Abstand 
erkannter Verkehrszeichen vom Fahrzeug und Abstand 
in Fahrthchtung vom Fahrzeug zuverlassig zu vermes- 
sen was wiederum einer sicheren Klassifikation, d.h. 
Bedeutungszuweisung, erkannter Verkehrszeichen 
dienlich ist 

[0005] Eine ruckwartige Anordnung der Kameraetn- 
richtung ermoglicht beispielsweise eine breite Sicht auf 
Hindernisse beim Einparkvorgang. wenn das Stereovi- 
deosignal beispielsweise auf einem Bildschirm, der im 
Sichtbereich des Fahrzeugfuhrers angeordnet ist, ange- 
z'eigt wird. Sind die Kameras insbesondere so ausge- 
richtet, daB sich die optischen Achsen der Kameras im 
Gesichtsfeld der Kameras schneiden, so sind vorteilhaf- 
terweise bildaufnehmende Elemente mit groBerer 
Brennweite moglich, wodurch sich ein Fischaugeneffekt 
vermeiden laBt Auch kann vorgesehen sein, dem Fah- 
rer durch Berechnung des Abstands aus dem stereo- 
skopischen Videosignal (d.h. den Umfeldbilddaten des 
Uberlappungsbereichs der Gesichtsfekjer des bei- 
spielsweise binokularen Kamerasystems) uber eine 
Zahlenanzeige Oder akustische Anzeige den verblei- 
benden Abstand zum ruckwartig stehenden Fahrzeug 



instantan anzugeben. 
Zeichnung 

5 [0006] Die Erf indung ist anhand der Zeichnung dar- 
gestellt und nachfolgend naher beschrieben. Es zeigen 
Figur 1 eine Verkehrszeichenerkennungseinrichtung, 
Figur 2 eine Anordnung von Kamerapositbnen, Figur 3 
eine Verkehrsszene, Figur 4 Verkehrsschilder sowie 
1 o Figur 5 eine weitere Verkehrsszene. 

Beschreibung der Ausfuhrungsbeispiele 



[0007] Figur 1 zeigt eine Verkehrszeichenerken- 
15 nungseinrichtung 200 mit einer ersten Kamera 100 und 
einer zweiten Kamera 1 10. Die Kameras haben jeweils 
ein Blickfeld 4a beziehungsweise 4b, wobei die Blickfel- 
der einen Oberlappungsbereich 4 aufweisen. Die 
Kameras sind uber Verbindungsleitungen 120 bezie- 
20 hungsweise 1 30 mit einer Bildverarbeitungseinheit 1 40 
verbunden, wobei uber eine Verbindungsleitung 160 
eine Datenausgabe-Zwerterleitungseinheit 150 an die 
Bildverarbeitungseinheit angeschlossen ist. 
[0008] Die Kameras liefern eine stereoskopische 
25 Videosequenz an die Bildverarbeitungseinheit. die mit- 
tels dreidimensionaler Mustererkennung und Bildverar- 
beitung Verkehrszeichen detektiert und Wassifiziert. 
Das Ergebnis der Mustererkennung bzw. Bildverarbei- 
tung wird uber die Einhe'rt 150 beispielsweise einem 
so Fahrzeugfuhrer angezeigt. beipielsweise in der Form 
einer bildlichen Wiedergabe des erkannten Verkehrs- 
zeichens auf einem Anzeigefeld im Innern des Kraft- 
fahrzeugs oder in einem Head-up-Display im Bereich 
der Frontscheibe, auch konnen detaillierte Warnhin- 
35 weise wie beispielsweise w AcWung - Geschwindigkeits- ^ 
beschrankung", oder „Noch 50 Meter bis zur nachsten 
gleichberechtigten StraBenkreuzung!" ausgegeben 
werden. 

[0009] Alternate oder in Kombination zur obenge- 
40 nannten Funktion konnen die ErkennungsMlassifikati- 
onsclaten an eine Hilfseinrichtung, die auch im 
Fahrzeug des Fahrzeugfuhrers angeordnet ist, weiter- 
geleitet werden, urn die Funktionssicherheit dieses wei- 
teren Systems zu erhohen, insbesondere eines 
45 Navigationssystems. 

[001 0] Die Kameras konnen Schwarzwei Bkameras 
oder Farbkameras sein, je nach Anforderung an die 
Verkehrszeichenerkennungseinrichtung. Als Aufnah- 
metechnologien konnen CCD-Anordnungen (CCD = 
so Charge Coupled Device) oder HDRC-Systeme (HDRC 
= High Dynamic Range Camera) eingesetzt werden, 
wobei letztere aufgrund nichtlinearer Kennlinien im 
Videosignal-Helligkeits-Diagramm eine hohere Hetlig- 
keitsdynamik im Vergleich zu CCD-Anordnungen auf- 
55 weisen. 

[001 1 ] Figur 2 zeigt ein Fahrzeug 1 in Draufsicnt. im 
Fahrzeug sind beispielhaft zwei alternative Kamerapo- 
sitionen 2 bzw. 3 eines binokularen Kamerasystems zur 
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Aufnahme von Umfeldbilddaten, insbesondere von 
Umfeldbilddaten einer StraBensituation, angegeben. 
Die Position 2 beschreibt eine Anordnung hinter der 
Windschutzscheibe, vorteilhafterweise im Wirkbereich 
der Scheibenwischer. Die Position 3 beschreibt eine s 
Anordnung im Bereich der Scheinwerfer des Fahrzeugs 
1. Alternative Positioned an denen Verkehrszeichen 
registriert werden konnen, sind ebenfalls moglich. In 
jedem Fail weisen dabei die Blickfelder 4a und 4b des 
Kamerapaars einen Uberlappungsbereich 4 auf ; einge- w 
zeichnet wurden die Blickfelder der Einfachheit halber 
lediglich fur die Kameraposition 2. Die in der Beschrei- 
bung zur Figur 1 erlauterte Bildverarbeitungseinrich- 
tung ist hier nicht bildlich wiedergegeben, kann man 
sich jedoch an jedem beliebigen Ort im Fahrzeug ange- 15 
ordnet denken. 

[0012] Das binokulare Kamerasystem nimmt wah- 
rend der Fahrt, angelehnt an die Fahigkeit des Men- 
schen, StraBensituationen zu interpretieren, 
stereoskopische Videosequenzen auf; die Bildverarbei- 20 
tungseinheit kann dabei aus jeder Momentaufnahme 
Verkehrszeichenerkennungs - bzw. Verkehrszeichen- 
klassifikationsdaten generieren und wie bereits 
beschrieben uber eine Einheit 150 (siehe Figur 1) dem 
Fahrer oder einem anderen Hilfssystem im Fahrzeug 25 
zur Verfugung stellen. 

[0013] Figur 3 zeigt beispielhaft eine Verkehrs- 
szene mit einem Verkehrszeichen 5 mit einer Hohe 10. 
Das Verkehrszeichen hat einen Abstand 9 in Fahrtrich- 
tung und einen seitlichen Abstand 8 zum Fahrzeug, das 30 
in Ruckansichtdargestellt ist. Eine zwischen dem Fahr- 
zeug 1 und dem Verkehrszeichen 5 angeordnete Fahr- 
bahnmarkierung 6 hat einen seitlichen Abstand 7 zum 
Fahrzeug. 

[0014] M'rthirfe des binokuiaren Kamerasystems ss 
kann sowohl der seitliche Abstand 8 als auch der 
Abstand 9 des Verkehrszeichens vom Fahrzeug 1 
bestimmt werden. Auch die Hone 10 kann instantan 
durch Auswertung entsprechender stereoskopischer 
Videosignale berechnet werden. Eine entsprechende 4c 
Auswertung kann auch fur die Fahrbahnmarkierung 
erfolgen, woraus wiederum zusammen mit den Ver- 
kehrszeichendaten der Abstand zwischen Verkehrszei- 
chen und Fahrbahnmarkierung errechnet werden kann. 
[0015] Figur 4 und 5 zeigen Beispiele weiterer, 45 
unterschiedlich geformter bzw. ausgerichteter Ver- 
kehrszeichen. Figur 4a zeigt ein Richtungsanzeige- 
schild 55 mit einer Breite 11 und einer Hone 12. Figur 
4b zeigt ein Gefahrenhinweisschild 555, das relativ zur 
horizontalen Ausrichtung 14 des binokuiaren Kamera- sc 
systems einen Kippwinkel 13 aufweist. Figur 5 zeigt ein 
Verkehrszeichen 5, das relativ zur Orientierung 16 der 
Fahrzeugquerachse einen Drehwinkel 15 aufweist. 
[0016] Fur unterschiedlich geformte Verkehrszei- 
chen, wie beispielhaft in Figur 4a, 4b und 5 dargestellt. st 
kdnnen mittels des binokuiaren Kamerasystems 100. 
110 unterschiedliche GroBen wie Breite 11, Hohe 12, 
Kippwinkel 13 und Drehwinkel 15 mit hoher ZuverlSs- 



sigkeit unter Einsatz eines Mustererkennungsverfah- 
rens vermessen werden, urn eine robuste 
Verkehrszeichenerkennung und -Wassifizierung an 
Bord des Kraftfahrzeugs zu ermoglichen. Ein in der 
Bildverarbeitungseinheit in einem Speicher abgelegtes 
dreidimensionales Modell eines Verkehrszeichens weist 
hierbei jedem Verkehrszeichen wahlweise Oder in Kom- 
bination folgende geometrische GroBen zu, wobei 
anhand der Form des Verkehrszeichens eine Vorklassi- 
fikation erfolgen kann: 

1. Position des Verkehrszeichens relativ zum Fahr- 
zeug: Abstand 9 in Fahrtrichtung, seitlicher 
Abstand 8 vom Fahrzeug, Hohe 10 des Verkehrs- 
zeichens uber der Fahrbahn oder uber dem Fahr- 
zeug; 

2. Form des Verkehrszeichens: rund, dreieckig, 
viereckig, achteckig; 

3. Abmessungen des Verkehrszeichens: Durch- 
messer, Breite 1 1, Hohe 12; 

4. Orientierung des Verkehrszeichens: Kippwinkel 
13, Drehwinkel 15; 

5. Zuordnung zu anderen Verkehrszeichen, bei- 
spielsweise das Zusatzzeichen „nur bei Nasse" zu 
einem Verkehrszeichen, das eine Geschwindig- 
keitsbeschrankung angibt 

In aiternativen Ausfuhrungsformen kann die Bildverar- 
beitungseinheit bei entsprechend geeignet angeordne- 
ten Kameras gleichzeitig vorausfahrende bzw. 
stehende Fahrzeuge erkennen und registrieren, ob ein 
erkanntes Fahrzeug im Vorderfeld stent oder rollt. Damit 
iaBt sich ein automatisches „Stop and Go" realisieren. 
Die Berecnnung des Abstands zu vorausfahrenden 
oder -stehenden Fahrzeugen kann zu automatischen 
Eingriffen in die Brems- und 

[0017] Motorsteuerung des Fahrzeugs eingesetzt 
werden (ACC, Automatic Cruise Control). Ferner kann 
eine Auswertung der Fahrspuren erfolgen zur automati- 
schen Ansteuerung der Scheinwerferausrichtungen 
bzw. zur Auslosung eines Alarms, sobald das Fahrzeug 
an den StraBenrand gerat. In diesem Zusammenhang 
ist auch die Ansteuerung eines akustischen Einschlaf- 
warners moglich. Ferner sind die errechneten Fahr- 
bahndaten geeignet zur Ansteuerung einer 
automatischen Lenkung. 

Alternativ kann die erf indungsgem^Be 

[0018] Umfelderkennungseinrichtung im Kraftfahr- 
zeug auch als Ruckfahrkamera eingesetzt werden. 
Dabei ist das Kamerasystem 100, 110 im Bereich des 
StoBfangers installiert. so daB im ruckwartigen Bereich 
des Kraftfahrzeugs der gesamte Bereich des StoBfan- 
gers vom Kamerasystem erfaBt wird. Die optischen 
Achsen der Kameras Oberlappen sich hierbei im 
Gesichtsfeld der Kameras, wodurch sich der Bildbe- 
reich im ruckwartigen Raum des Kraftfahrzeugs vergro- 
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Bert und der ruckwartige Raum inklusive StoBfanger 
erfeBt werden kann, was bei direkter Bildausgabe dem 
Fahrer die Einschatzung des Abstands erleichtert 
Infolge sich schneidender optischer Achsen sind Objek- 
tive mit relativ groBer Brennweite moglich und der 
Fischaugeneffekt wird vermieden. Die Bildverarbei- 
tungseinheit liefert das erfaBte Bild direkt an eine als 
Bildausgabeeinheit ausgebildete Datenausgabeeinheit 
150 nachdem siedie Bilddaten entsprechend den sich 
kreuzenden optischen Achsen der Kameras korrigiert 
hat. In einer weiteren Ausfuhrungsform ist die Bildverar- 
beitungseinheit derart ausgebildet, aus den stereosko- 
pischen Umfeldbilddaten den Abstand des 
Hindernisses von der StoBstange des Fahrzeugs zu 
berechnen und dem Fahrzeugfuhrer uber eine eine 
Zahlenanzeige oder akustische Anzeige (ansteigender 
Ton, schneller werdende Pulsfolge in Abhangigkeit vom 
verbleibenden Abstand o.a.) aufweisende Datenausga- 
beeinheit 150 mitzuteilen. In einer weiteren Ausfuh- 
rungsform ist auch eine automatische Objektdetektion 
im ruckwartigen Fahrzeugraum vorsehbar. 

Patentanspruche 

1. Umfelderkennungseinrichtung in einem Kraftfahr- 
zeug mit einer Kameraeinrichtung zur Generierung 
von Videosignalen aus Umfeldbilddaten, dadurch 
gekennzeichnet. daB die Kameraeinrichtung min- 
destens zwei Kameras mit Oberlappenden 
Gesichtsfeldern aufweist. 

2. Einrichtung nach Anspruch 1, dadurch gekenn- 
zeichnet, daB die Einrichtung eine Bildverarbei- 
tungseinheit aufweist, wobei die Videosignale der 
Bildverarbeitungseinheit zugefuhrt wird zur Detek- 
tion von Verkehrszeichen in den Umfeldbilddaten. 



7. 
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Einrichtung nach Anspruch 1, dadurch gekenn- 
zeichnet, daB die Einrichtung eine Bildverarbei- 
tungseinheit aufweist und daB die Kamera- 
einrichtung in der Nahe eines ruckwartigen StoB- 
langers des Kraftfahrzeugs angeordnet ist zur Auf- 
nahme der Umfeldbilddaten im ruckwartigen Raum 
des Kraftfahrzeugs, wobei das Videosignal der Bild- 
verarbeitungseinheit zugefuhrt wird zur Detektion 
mindestens eines Hindernisses im ruckwartigen 
Raum des Kraftfahrzeugs, insbesondere wahrend 
eines Einparkvorgangs. 

Einrichtung nach Anspruch 7, dadurch gekenn- 
zeichnet, daB die optischen Achsen der minde- 
stens zwei Kameras sich im Bereich der 
Gesichtsfelder schneiden. 

Einrichtung nach Anspruch 7 oder 8, dadurch 
gekennzeichnet, daB die Bildverarbeitungseinheit 
den Abstand des Hindernisses aus den Umfeldbild- 
daten des Uberlappungsbereichs der Gesichtsfel- 
der ermittelt und dem Fahrzeugfuhrer meldet. 



3. 



Einrichtung nach Anspruch 2, dadurch gekenn- 
zeichnet daB die Bildverarbeitungseinheit im Falle 
der Detektion eines Verkehrszeichens das detek- 40 
tierte Verkehrszeichen klassifiziert 



45 



Einrichtung nach Anspruch 2, dadurch gekenn- 
zeichnet, daB die Bildverarbeitungseinheit neben 
der Detektion von Verkehrszeichen zur Detektion 
von Fahrbahnrandern und/oder von vorausfahren- 
den und/oder stehenden Fahrzeugen ausgebildet 
ist. 



5. Einrichtung nach einem der vorhergehenden so 
Anspruche. dadurch gekennzeichnet, daB die 
Kameraeinrichtung im Frontscheibenbereich eines 
Fahrzeugs angeordnet ist. 



Einrichtung nach einem der Anspruche 1 bis 4. 
dadurch gekennzeichnet, daB die Kameraeinrich- 
tung im Scheinwerferbereich eines Fahrzeugs 
angeordnet ist. 



55 



4 



EP 1 028 387 A2 




EP1 028387 A2 




8 



Fig.3 
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(57) Es wird eine Umfeld-, insbesondere Verkehrs- 
zeichenerkennungseinrichtung mit mindestens zwei 



Kameras mit uberlappenden Gesichtsfeldem vorge- 
schlagen zur Detektion von Hindemissen bzw. zur De- 
tektion und Klassifikation von Verkehrszeichen. 
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